iT邦幫忙

2023 iThome 鐵人賽

DAY 7
1
AI & Data

初次抓舉AI的世界系列 第 7

模型學習方式 D6 - 自監督式學習

  • 分享至 

  • xImage
  •  

前面我們介紹了一些基本的監督式學習方法,今天讓我們來談談一種特別的學習方式吧!

自監督式學習(Self-supervised learning)

自監督式學習的概念是在正式開始模型訓練之前,先使用大量未標註的資料進行「預訓練」(Pre-train),以培養模型的基本能力,一旦模型具備了這些基本能力,學習效率就會提高,例如,當需要執行某項任務時,只需要提供少量關於任務的標註資料,來微調(fine-tune)模型的權重,它就能夠快速適應該任務。

這個方法的目標是為了讓模型能夠學習到資料中的通用表示,並將其應用於不同的下游任務中
可以把它看作是一種具有監督形式的特殊非監督式學習方法

而自監督式學習可以分成兩大部分:

Pre-train

在正式訓練我們的特定任務之前,先來讓模型把基本功練好
主要作法是會透過挖掘大量未標記資料中本身的資訊,來得到通用的知識
在這個階段中,我們不會去預設模型將來要執行的任務
舉例:如果影像被顛倒或變色,模型是否能夠成功辨識與原圖相同的物體

Fine-tune

拿一個已經經過預訓練的模型,將其用於下游任務(我們的特定任務)做最後的模型微調,使用監督式學習的方式進行訓練


小小複習到目前為止的學習方式:
情境:你是個小孩,正在學習如何打網球
監督式學習:會有一位教練告訴你如何握拍、如何揮拍,然後你跟著他的指導一步一步學習
對比式學習:教練拿一個網球和一個羽毛球,告訴你它們之間的不同,讓你學會區分它們
自監督式學習:自己在某塊空地發現了一個未知的球,沒有人告訴你這是什麼球,也沒有人告訴你該怎麼打它。但你開始試著拍它,觀察它的彈跳、聲音,並試著找出規則。你可能會發現,當你將球拍以特定的方式擊打時,球會按照一定的軌跡彈跳,這樣你就開始學會如何打這個未知的球

希望這個簡單的比喻有助於理解不同的學習方式!


上一篇
模型學習方式 D5 - 對比式學習
下一篇
半監督式演算法 D1 - Label Propagation algorithm(LPA)
系列文
初次抓舉AI的世界30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言